Selepas bersara menjadi pemain, Fandi berkhidmat sebagai jurulatih. Beliau bermula sebagai pembantu kepada jurulatih kebangsaan negara, Vincent Subramaniam, untuk Sukan SEA 1999, di mana Singapura tamat di tempat keempat.[11] Pada 2000, beliau menjadi jurulatih pasukan SAFFC di mana beliau membimbing pasukan itu untuk menjuarai pertandingan S. League, dan beliau memenangi Anugerah S. League Coach of the Year.[36] Di bawah bimbingan Fandi, SAFCC menamatkan musim 2001 tanpa memenangi trofi dan merupakan juara S. League 2002 dengan margin 20 mata.[37] Pada tahun 2001 juga Fandi telah dilantik sebagai Anggota Majlis Persatuan Bolasepak Singapura sekaligus menjadi anggota yang termuda dan bekas pemain bolasepak pertama yang berjaya menyandang jawatan tersebut.

Pada 2005, Fandi kemudiannya berkhidmat sebagai jurulatih bola sepak kebangsaan dan berjaya membantu pasukan Singapura memenangi pertandingan Piala Tiger, sebuah pertandingan bola sepak seluruh Asia Tenggara. Beliau juga pernah menjadi jurulatih pasukan bolasepak bawah umur 23 tahun[5] dan pasukan Young Lions, yang meraih dari ke bawah S. League pada 2003 kepada penamat dua tiga tempat pada 2004 dan 2006.[38]

Dari November 2006 hingga Mac 2010, Fandi menganggotai pasukan Indonesia Pelita Jaya Purwakarta[7] atau Pelita Raya sebagai jurulatih mereka untuk jangkamasa 3 tahun dengan gaji sebanyak AS$220,000 setahun, [39] di mana beliau menggunapakai dasar belia yang membantu mereka menang promosi dari bahagian kedua,[40] kemudian membimbing mereka dalam penamat dua meja di Liga Super Indonesia. Sejak daripada itu, beliau menjadi pengakap untuk kelab Itali, Vicensia Calcio, seorang pengurus projek serantau untuk Sekolah Bola Sepak Antarabangsa Genova dan pengurus Liga Super Malaysia bersebalahan Johor Darul Takzim.[6] Pada 2011, beliau mengasaskan Akademi Fandi Ahmad, yang menganjurkan program-program latihan dan peluang di luar negara untuk pemain muda berbakat Singapura. Fandi adalah salah satu daripada tujuh jurulatih Singapura dengan diploma kejurulatihan profesional AFC dan secara meluas dianggap sebagai jurulatih masa depan pasukan bola sepak kebangsaan Singapura;[40] pada Disember 2013, beliau menjadi ketua jurulatih Singapura LionsXII, dengan Nazri Nasir sebagai pembantunya.[41] Pada Mei 2015, beliau mengetuai LionsXII merangkul Piala FA Malaysia, trofi pertama mereka musim ini.[42][43]

Fandi dilantik sebagai ketua jurulatih Young Lions untuk musim 2018 S.League, menggantikan Richard Tardy.[44]